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应 激 条 件 下 的 双重 学 习 系 统 


JESE RR! 


(1 深圳 大 学 心理 与 社会 


AS ZT 1,2,3 


学 院 ; 


2 深圳 市 情绪 与 社会 认 知 科学 重点 实验 室 


3 深圳 市 神经 科学 丰 


究 院 ， 


摘 要 心理 学 、 神 经 科学 和 行为 经 济 学 中 许多 研究 
射 性 系统 和 反思 性 系统 。 前 者 是 自动 化 的 习惯 系统 ， 


深圳 518060) 


致 认为 ， 人 的 行为 由 双重 学 习 系 统 控 制 ， 


慢 的 认 知 系统 ， 需 要 消耗 更 多 认 知 资源 ， 但 也 更 加 灵活 ， 
并 行 存在 而 又 相互 竞争 ， 共 同 影响 人 的 心理 和 行为 。 完 疯 


又 有 哪些 因素 导致 该 系统 对 行为 的 支配 ， 是 近年 来 普遍 受到 关注 的 问题 。 


是 哪 种 学 习 系 统 对 人 的 特定 行为 起 着 
过 去 研究 者 们 采用 导航 学 习 、 概 


率 分 类 
化 。 通 过 回顾 和 分 析 这 些 研 究 ， 
糖 皮质 激素 在 杏仁 核 的 参与 下 与 受 体 结合 协同 作 
毒品 成 瘾 的 形成 。 未 来 需要 重点 关注 个 体 基 因 差 
揭示 其 背后 的 神经 和 内 分 泌 机 制 。 

关键 词 应 激 ， 双 重 学 习 系统 ， 反射 


学 习 或 工具 性 学 习 及 其 计算 模型 ， 从 行为 和 大 脑 层 面 


我 们 总 结 出 应 激 导 致 个 体 向 习 
于 双 系 统 相关 的 脑 区 ， 
异 与 应 激 影响 学 习 的 关系 ， 


分 别 是 反 


反应 快速 ， 不 需要 消耗 认 知 资源 ， 后 者 是 反应 较为 组 
可 以 有 效应 对 外 界 环 境 的 变化 。 这 两 种 学 习 系 统 


主导 作 


惯 行为 转变 的 生理 机 制 ， 
并 从 该 角度 出 发 重新 


探讨 双重 学 习 系 统 在 急性 和 慢性 应 激 下 的 变 


ERRA 


= 
ho YE 
x 再 


梳理 和 解释 


并 采用 多 种 研究 手段 以 更 


bE RS: OER Ss BE an ME 


许多 研究 都 支持 这 样 一 种 观点 ， 人 的 行为 过 程 可 以 置 于 一 个 谱系 中 ， 从 快速 的 、 基 于 


的 直觉 


2005)。 该 连续 体 的 两 端 被 普遍 定义 为 反射 怕 


况 下 它们 在 个 体 的 学 习 和 记忆 过 


系统 的 平衡 ， 


察 到 应 激 下 相关 脑 区 活动 的 改变 (Yin & Knowlton, 2006)。 


种 适应 性 机 制 ， 


(Vogel, Fernandez, Joels, & Schwabe, 2016)。 然 而 ， 这 种 行为 却 是 以 牺牲 学 习 的 灵活 性 为 代价 ， 


适应 


日 期 : 2018-06-22 


加 工 ， 到 缓慢 的 、 目 标 导向 的 、 受 意识 控制 的 理性 加 工 ， 


性 系统 (reflexive system) 和 反思 性 系统 (reflective system), IE% 


一 般 认为 ， 应 激 状 态 下 个 体 的 这 种 习惯 


好 地 


习惯 的 、 自 动 化 


此 形成 一 个 连续 体 (Daw, Niv, & Dayan, 


1# 


程 中 处 于 一 种 动态 平衡 。 然 而 ， 大 量 研究 表明 ， 应 激 可 以 打破 这 两 种 学 习 
导致 个 体 趋 向 于 依赖 反射 性 系统 来 指导 行为 ， 即 产生 习惯 化 倾向 ， 并 且 有 关 动 物 的 实验 


如 在 某 些 威胁 场景 中 它 有 助 于 节省 认 知 资源 ， 避 免 犹 驳 不 决 或 延迟 行动 导致 也 


使 个 体 难 以 


” 基金 资助 国家 自然 科学 基金 项 目 


省 珠江 人 才 计 划 项 目 (2016ZT06S220) ; 深圳 市 基础 学 科 布局 


(2910424978) ;深圳 市 孔雀 计划 项 目 资助 KQTD2015033) TRY 
科学 基金 项 目 (31600923) 
通讯 作者 : 李 红 E-mail: 


lihongszu@szu.edu.cn 


| 市 孔雀 计划 项 目 


(31671150) ;广东 省 普通 高 校 创新 团队 建设 项 目 (2015KCXTD009 
Mi H (2910424978) ; 深圳 市 基础 学 科 布局 项 目 
资助 (016104926) ; 


益 变化 的 外 界 环 境 (Dandolo & Schwabe, 2016)。 另 外 ， 应 激 本 身 也 可 导致 不 良 的 生活 习惯 产生 ， 璧 如 


:广东 


国家 自然 
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吸烟 、 柄 酒 或 不 健康 饮食 ， 并 最 终 可 能 增加 有 关 精 神 疾病 的 患 病 风险 (Juster, McEwen, & Lupien, 2010; 


McEwen, 2008; Schneiderman, Ironson, & Siegel, 2005)。 研 究 应 激 对 双重 学 习 系 统 的 影响 以 及 个 体 差异 ， 


助 于 理解 应 激 作 用 于 学 习 的 认 知 和 神经 机 制 ， 提 高 个 体 处 理 


预防 、 诊 断 和 治疗 提供 有 益 的 参考 。 
1 双重 学 习 系 统 
1.1 反射 性 系统 与 反思 性 系统 


应 激 的 能 力 ， 同 时 也 为 相关 神经 或 精神 疾病 的 


人 类 和 其 他 有 机 体 ， 经 过 多 年 漫 


行为 是 对 刺激 的 简单 反应 ， 还 是 由 受 


长 的 进化 ， 发 展 


co 


预期 目标 结果 的 驱使 ， 


在 复杂 的 外 界 环境 下 趋 利 避 害 的 本 能 。 个 体 的 这 种 


直 是 研究 者 们 关注 的 问题 。 许 多 研究 认为 ， 


个 体 受 双重 学 习 系 统 的 控制 ， 分 别 为 反射 性 系统 和 反思 性 系统 ， 它 们 共同 存在 于 人 类 的 大 脑 中 ， 在 不 同 的 


场景 下 起 着 相对 独立 或 相互 竞争 的 


作用 (Balleine & O'Doherty, 2010; Daw et al., 2005; Dickinson, 1985; 


Gilovich, Griffin, & Kahneman, 2002; Sloman, 1996). 


反射 性 系统 ， 又 叫 习惯 系统 ， 建 


IER 


上 激 与 反应 的 联结 。 它 的 特点 


耗 太 多 认 知 资源 ， 有 利 了 


= 


惯 系 统 不 需要 个 体外 显 地 思考 即将 采 


入 省 精力 应 对 其 他 复杂 的 环境 ， 


因此 


是 自动 化 的 ， 反 应 快速 ， 不 需要 消 


也 是 一 种 适应 性 的 学 习 系 统 。 然 而 ， 由 于 习 


取 的 行动 可 能 产生 的 结果 ， 因 此 显得 采 板 而 不 灵活 ， 无 法 适应 外 界 多 


变 的 环境 。 反 思 性 系统 ， 又 叫 认 知 系统 ， 建 立 在 行为 与 结果 的 关联 ， 需 要 个 体外 显 地 思考 即将 采取 的 行动 


所 可 能 产生 的 结果 。 与 反射 性 系统 不 同 ， 它 反应 较为 缓慢 ， 需 要 消耗 更 多 认 知 资源 ， 但 更 加 灵活 ， 可 以 


效应 对 外 界 环境 的 变化 。 


learning)， 跟 托 尔 曼 的 早期 工作 密切 相关 。 研 究 者 提出 了 基 了 


有 关 反 射 性 系统 与 反思 性 系统 的 研究 大 致 有 以 下 四 种 不 同 的 实验 传统 : 首先 是 导航 学 习 (Cnavigational 


海马 的 空间 学 习 (hippocampus-dependent spatial 


learning) 和 基于 背 侧 纹 状 体 的 刺激 反应 学 习 (dorsal striatum-dependent stimulus-response learning) 这 对 概念 ， 


ot 


究 个 体 行 为 在 多 大 程度 上 受 习 惯 学 习 系统 的 支配 (Packard & Knowlton, 2002)。 空 间 学 习 是 指 个 体 利用 环 


境 中 的 多 重 线索 来 构建 “ 认 知 地 图 ”(cognitive map)， 刺 激 反 应 学 习 则 指 个 体 仅仅 参照 行为 反应 和 单个 刺激 


的 联结 来 指导 自己 的 行为 。 受 该 研究 启发 , 概率 类 别 学 习 (probabilistic classification learning) 领 域 采用 基于 海 


马 的 认 知 系统 (hippocampus-dependent cognitive system) 和 


dependent habit system) 对 双重 学 习 系 


基于 背 侧 纹 状 体 的 习惯 系统 (dorsal-striatum- 


统 做 出 区 分 。 工 具 性 学 习 (instrumental learning) 提 出 的 目标 导向 学 习 


[行为 与 结果 的 关联 ，] 


(goal-directed learning)， 指 导 个 体 加 了 


其 神经 基础 


E 要 


是 眶 额 皮质 (orbitofrontal cortex, 


OFC), 而 习惯 化 学 习 (habitual learning) 使 得 个 体 仅 关 注 于 反应 与 刺激 的 关系 , 忽略 反应 所 导致 的 结果 同行 为 


之 间 的 因果 联结 ， 主 要 涉及 背 内 侧 纹 状 体 (dorsal medial striatum, DMS)。 随 着 计算 神经 科学 的 兴起 ， 研 究 


发 展 出 工具 性 学 习 的 计算 模型 (computational approach to instrumental learning)， 提 出 基于 模型 的 学 习 (model- 
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based learning) 和 无 模型 学 习 (model-free learning), 被 认为 是 对 目 


标 导 向 学 习 和 习惯 学 习 的 延 人 


。 基 于 模型 的 


学 习 依 赖 于 前 额 叶 (prefrontal cortex, PFC)， 是 一 种 高 度 灵 活 却 又 消耗 认 知 资源 的 学 习 系统 , 它 依据 奖赏 最 大 


化 原则 帮助 个 体 构建 环境 模型 并 指导 后 续 的 行为 ， 而 无 模型 学 习 涉 及 
一 种 相对 采 板 不 灵活 的 学 习 策 


12 ”影响 双重 学 习 系 统 的 因素 


最 早 研 究 者 把 关注 点 集中 在 提供 双重 学 习 系统 存在 的 证 据 ， 并 从 行为 和 大 脑 层 再 
而 积累 了 大 量 的 研究 成 果 。 近 年 来 ， 人 人 


KR: 哪 种 学 习 系 统 对 人 的 特定 行为 起 着 主导 作用 ， 又 有 哪些 因 


究 者 的 关注 。 


中 (Shohamy, Myers, Hopkins, Sage, & Gluck, 2009). ZATI 4 


K KERIT 


去 能 得 到 奖赏 的 行为 。 


站 又 将 研究 兴趣 转移 到 影响 双生 


研究 表明 ， 为 了 使 任务 表现 最 优 ， 通 常情 况 下 反射 性 系统 与 反思 性 


背 侧 纹 状 体 ， 在 它 的 控制 下 个 体 采用 


对 它们 进行 分 离 ， 从 


学 习 系统 对 行为 控制 的 调节 因素 上 


素 导 致 该 系统 对 行为 的 支配 ， 越 来 越 受到 研 


E 其 他 场景 中 ， 许 多 因 


系统 需要 同时 


参与 到 对 行为 的 控 千 


BZ 


= 


素 包括 分 心 任 务 (Foerde， 


Knowlton, & Poldrack, 2006)、 训 练 时 间 (Poldrack et al., 2001) 以 及 应 激 事件 (Schwabe & Wolf, 2012) 均 能 影响 


和 改变 这 两 种 学 习 系 统 对 行为 的 主导 作用 。 


加 主导 作用 ， 如 只 要 一 进入 厨房 就 洗手 ， 个 体 不 有 


例如 ， 经 历 急 性 应 激 后 的 被 试 虽然 已 经 有 饱 腹 感 ， 


习惯 化 反应 (Schwabe & Wolf, 2009)。 应 激 可 以 导致 个 体 皮质 醇 水 习 


以 训练 时 间 为 例 ， 为 了 避免 细菌 感染 ， 饭 前 洗手 就 是 一 种 目标 


它 受 反思 性 系统 的 控制 。 然 而 ， 当 洗手 的 行为 经 过 多 次 重复 之 后 ， 反 射 伯 


EN SPR MT FY 


重 学 习 系 统 处 于 动态 平衡 的 结果 ， 而 过 度 训练 导致 了 这 两 种 系统 的 失衡 。 而 应 激 也 


EF 升 高 ， 从 而 促进 反 


E 系 统 便 开始 对 行为 施 
了 思考 洗手 的 意义 。 由 此 可 见 ， 正 常 的 行为 表现 应 该 是 双 
能 影响 双重 学 习 系 统 ， 
主要 体现 在 灵活 的 认 知 策略 减少 ， 呆 板 的 习惯 反应 增加 (Schwabe et al., 2007; Schwabe & Wolf, 2009, 2012). 


得 某 种 食物 的 按键 进行 反应 ， 表 现 出 一 种 


思 性 系统 向 反射 性 系 


统 的 转变 (de Quervain, Roozendaal, & McGaugh, 1998; Schwabe, Schichinger, de Kloet, & Oitzl, 2010; Schwabe, 


Tegenthoff, Hoffken, & Wolf, 2013; Vogel et al., 2016)。 本 文 将 基于 前 人 积累 的 成 果 ， 梳 理应 激 影 响 双重 学 习 


系统 的 认 知 过 程 和 神经 机 制 。 


2 关于 应 激 
21 ”应 激 和 应 激 反 应 


应 激 在 日 常生 活 中 普 裔 存在 ， 它 对 人 们 的 心理 


E, 


(2011) 通 过 元 分 析 的 方法 总 结 出 ， 当 外 部 刺激 超出 个 体 调节 


的 应 激 源 具 有 不 可 控 4 
(Trapp, O'Doherty, & S 


chwabe, 2018). 


=. 


健康 有 重大 的 影响 。 关 于 应 激 的 定义 ，Koolhaas 等 人 


捉 性 和 不 可 预测 性 ， 但 


能 力 时 应 激 就 会 产生 。 


有 新 的 观点 指 


H, FLAY 


过 去 通常 认为 ， 引 发 应 激 


E 确 预测 未 来 发 生 的 事件 也 能 诱发 应 激 
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MEOS Be Dy hE EH AR 5, WRIA- A ERRE Hl (Sympathetic-adrenal-medullary Axis, SAM axis) 和 下 


丘脑 -垂体 -肾上腺 轴 (Hypothalamic-pituitary-adrenal Axis, HPA axis) (Ulrich-Lai & Herman, 2009)。 它 们 分 


别 促进 儿 茶 酚 胺 (包括 肾上腺 素 和 去 甲骨 上 腺 素 ) 和 糖 皮质 激素 (glucocorticoids) 的 分 泌 ， 引 发 一 系列 外 周 凶 


经 反应 , 包括 心率 、 血 压 和 a 尝 粉 酶 分 泌 的 变化 。 糖 皮质 激素 可 以 进入 大 脑 与 糖 皮 质 激素 受 体 (glucocorticoid 


receptors, GRs) 和 盐 皮 质 激素 受 体 (mineralocorticoid receptors, MRs) 结 合 ， 进 而 对 认 知 功能 相关 的 脑 区 如 前 


额 叶 等 产生 影响 。 人 类 个 体 中 的 糖 皮质 激素 为 皮质 醇 (cortisoD， 它 可 以 提高 血液 中 的 血糖 水 平 ， 为 机 体 作 出 


行为 反应 提供 能 量 。 


2.2 ”应 激 的 诱发 


根据 应 激 的 操作 性 定义 ， 研 究 者 设置 应 激 源 诱发 被 试 的 应 激 反 应 ， 预 期 皮质 醇 水 平 达 到 峰值 时 ， 让 被 


试 执行 有 关 实 验 任务 。 Schwabe 等 人 设计 的 带 有 社会 性 评价 的 冰 水 任务 (Socially Evaluated Cold Pressor Test, 


SECPT) (Schwabe & Schachinger, 2018)， 要 求 被 试 将 手 温 入 冰 水 中 ,同时 拍摄 被 试 面部 表情 。 和 生理 和 心理 


的 双重 威胁 使 得 SECPT 很 大 程度 诱发 应 激 反 应 ， 如 皮质 醇 水 平 明显 增加 (Smeets et al., 2012)。 简 单 的 实验 


操作 使 它 成 为 一 种 经 济 有 效 的 应 激 诱 发 范式 。 特 里 尔 社会 应 激 测 试 也 被 广泛 采用 (Trier Social Stress Test, 


TSST) (Kirschbaum, Pirke, & Hellhammer, 1993)。 被 试 需要 进行 公众 演讲 ， 然 后 完成 数学 运算 ， 整 个 过 程 


摄像 头 记录 ， 增 加 社会 性 评价 因素 。Ishizuka 等 人 (2007) 证 明了 该 范式 的 有 效 性 。 而 多 人 版 本 的 TSST 范 式 


(The Trier Social Stress Test for Groups, TSST-G) (von Dawans, Kirschbaum, & Heinrichs, 2011) 则 提高 了 


实验 效率 。TSST 在 应 激 诱发 方面 更 为 有 效 ， 但 由 于 操作 过 程 相 对 繁琐 ， 研 究 者 需要 结合 具体 研究 目的 在 两 


者 之 间 做 出 权衡 。 
3 应 激 条 件 下 的 双重 学 习 系统 


过 去 研究 者 们 在 实验 室 场 景 中 对 实验 对 象 诱发 应 激 ， 并 采用 导航 学 习 、 概 率 类 别 学 习 、 工 县 性 学 习 及 


Kl 


其 计算 模型 ， 


St 


究 应 激 对 双重 学 习 系 统 的 影响 ， 同 时 试图 揭示 其 效应 背后 的 神经 内 分 小 机 制 。 从 导航 学 习 


到 工具 性 学 习 的 计算 模型 ,我们 简单 回顾 了 以 下 四 个 领域 的 研究 ， 其 中 涉及 问题 起 源 、 实 验 范式 以 及 实验 


逻辑 ， 然 后 分 别 梳理 了 各 个 领域 中 应 激 及 其 中 介 因素 所 导致 的 个 体 对 某 一 学 习 系 统 的 使 用 偏向 。 


3.1 导航 学 习 


对 导航 学 习 的 探讨 可 以 追溯 到 20 世 纪 初 刺激 反应 理论 和 认 知 学 习 理论 之 争 。 刺 激 反 应 学 习 理论 认为 ， 


白鼠 在 ?型 迷宫 中 学 会 以 特定 的 方式 对 刺激 进行 反应 ， 壁 如 在 测试 阶段 学 会 右 转 然后 获取 食物 , 是 由 于 食物 


强化 了 刺激 与 反应 之 间 的 联结 。 然 而 托 尔 曼 却 认为 ， 白 鼠 学 习 的 不 是 左 转 或 右 转 的 序列 ， 而 是 在 脑 中 形成 


有 关 迷 宫 分 布 的 “ 认 知 地 图 ” 在 该 地 图 的 导航 下 找到 食物 。 十 字 迷 宫 任 务 (Plus-Maze Task) 25 RICH S Ja 


的 观点 。 该 迷宫 具有 南北 两 个 相反 的 入 口 以 及 东西 两 种 不 同 的 目标 地 点 。 实 验 小 鼠 分别 为 空间 学 习 组 和 反 
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应 学 习 组 ， 从 不 同 入 


定 在 入 


的 右 侧 。 实 验 发 现 ， 随 着 试 次 的 增多 ， 相 比 反 应 学 习 组 ， 空 间 学 习 组 的 小 鼠 错误 率 很 快 下 降 ， 


口 进 入 迷宫 寻找 食物 。 空 间 学 习 组 的 食物 目标 地 点 不 固定 ， 而 反应 学 习 组 食物 总 是 固 


现 出 空间 学 习 能 力 (Tolman, Ritchie, & Kalish, 1946)。 为 了 从 行为 层面 区 分 空间 学 习 和 刺激 反应 学 习 ， 研 究 


者 以 十 字 迷 富 


白鼠 从 北 侧 入 


口 进入 迷宫 ， 


保证 所 有 白鼠 均 能 


应 学 习 。 如 果 白 鼠 不 受训 练 影响 


第 一 个 利用 


的 入 口 方向 ， 让 其 从 南 侧 入 口 进 。 


和 为 基础 设计 了 导航 学 习 任 务 。 研 究 


将 食物 放置 地 点 固定 在 十 字 迷 宫 的 左 侧 ， 训 练 阶 段 让 


功 学 习 通 过 右 转 从 而 得 到 食物 。 到 了 测试 阶段 ， 改 变 白鼠 


如 果 白 鼠 受 到 训练 影响 而 重复 相同 的 行动 ， 如 向 右 转 ， 则 体现 出 刺激 反 


能 迅速 做 出 相反 的 行动 ， 如 向 左 转 ， 则 体现 出 空间 学 习 的 控制 。 


MFA 


ANS 


上游 向 新 平台 


击 来 诱发 小 鼠 的 应 激 反应 ， 


F 务 探讨 应 激 导 致 的 习惯 化 研究 来 自 于 Kim 等 人 (2001)。 他 们 对 实验 组 小 鼠 施 加 电 


W: 


然后 让 其 执行 英里 斯 水 迷宫 任务 (Morris water maze, MWM)。 结 果 发 现 ， 应 激 


了 刺激 反应 策略 。 为 了 验 说 
激 对 人 类 被 试 双 避 
朝 上 的 卡片 ， 其 中 一 张 为 胜利 牌位 置 固 定 且 券 边 有 植物 ， 四 周 墙 面 有 门 、 窗 和 挂钟 等 线索 ， 被 试 需要 


且 不 告知 被 试 。 如 果 被 试 学 习 到 胜利 牌 的 位 置 总 是 跟 植物 相 邻 ， 则 是 一 种 刺 


墙 面 的 线索 学 习 到 胜利 牌 的 位 置 ， 则 是 一 种 空间 学 习 策略 。 研 究 发 现 ， 相 比 控制 组 ， 经 历 TSST15 分 钟 后 的 


应 激 组 被 试 唾液 皮质 醇 水 平 显著 升 高 ， 并 且 在 该 任务 中 较 多 使 用 了 刺激 反应 策略 ， 较 少 使 用 


略 。 这 表明 人 类 被 试 的 研究 结果 大 体 上 同 Kim 等 人 的 动物 和 


学 习 。 


据 主 试 的 反馈 学 习 


的 潜伏 期 更 短 ， 并 且 其 中 有 


指认 四 张 卡片 


一 半 小 鼠 游 


半 小 鼠 采 用 了 刺激 反应 策略 而 径直 游 向 新 平台 ， 


向 新 平台 之 前 先 通 往 原 始 平台 地 点 ， 即 采用 


了 空间 学 习 策略 ， 但 新 旧 平台 之 间 的 游泳 距离 显示 其 更 多 使 用 


E 以 上 动物 研究 结果 ，Schwabe 等 人 (2007) 设 计 出 新 的 空间 学 习 任 务 ， 考 察 急性 应 


学习 系统 的 影响 。 实 验 中 向 被 试 呈现 


个 三 维 房间 模型 ， 房 间 中 央 的 方案 上 有 四 张 背面 


的 胜利 牌 。 主 试 旋转 房间 并 交换 任意 墙 开 


， 但 胜利 牌 和 植物 位 置 固定 


激 反 应 策略 ， 如 果 是 通过 周围 


研究 者 还 指出 ， 被 试 在 应 激 下 采 


了 空间 学 习 策 


完结 果 一 致 ,应 激增 强 了 基于 背 侧 纹 状 体 的 习惯 


了 刺激 反应 策略 是 一 种 适应 性 反应 。 近 期 一 项 脑 成 像 研究 重复 了 


此 结果 (Vogel et al., 2017)。 该 研究 采用 虚拟 导航 任务 以 及 与 MRI 兼容 的 SECPT， 让 被 试 右 脚 浸入 0 一 2*C 的 冰 


水 中 3 分 钟 ， 同 时 进 


行 高 难度 心算 


线索 ,反映 了 刺激 反应 学 习 ， 而 控 


由 组 被 试 主要 依赖 地 平 线 线索 , 运用 


E 务 ， 随 后 进行 虚拟 导航 任务 。 行 为 结果 发 现 ， 应 激 组 被 试 主要 依靠 地 标 


了 空间 学 习 策略 。 脑 成 像 数据 表 明 ， 


应 激 组 被 试 的 禁 仁 核 激 活 更 强 ， 且 与 纹 状 体 的 功能 连接 更 加 活跃 。 另 外 ， 药 物 操作 研究 发 现 ， 摄 入 MR 受 体 


抑制 剂 的 个 体 身上 


同样 导致 个 体 趋 向 基于 背 侧 纹 状 体 的 刺 


Schachinger, & 


航 任务 中 更 多 采用 了 呆板 的 刺激 反应 学 习 策略 。 这 表明 学 习 策略 的 选择 也 受到 了 生命 


未 发 现 这 些 行为 以 及 机 


日 关 脑 区 的 显著 激活 。 


该 研究 直接 证 明了 MR 受 体 和 查 仁 核 在 应 激 


Oitzl, 2008). 


对 学 习 系统 的 影响 中 发 挥 了 重要 的 介 导 作 / 


]。 除 了 急性 应 激 ， 慢 性 应 激 以 及 大 脑 关 键 发 展期 发 生 的 应 激 也 


un, WRIA 


| 


激 反 应 学 习 (Schwabe, Bohbot, & Wolf, 2012; Schwabe, Dalm, 


L 期 个 体 的 母亲 孕期 经 历 了 负 性 生活 事件 ， 个 体 长 大 后 在 虚拟 导 


期 应 激 的 显著 影响 。 
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3.2 ”概率 类 别 学 习 


受 上 述 研究 的 启发 ， 研 究 者 


之 间 的 概率 关系 ， 从 而 


提出 了 概率 类 别 学 习 ， 个 体 需要 通过 多 个 试 次 的 反馈 学 习 建 立 线索 和 刺激 


对 刺激 进行 分 类 。 天 和 气 预 报 任务 (weather prediction task，WPT) 是 被 广泛 采用 的 一 种 


实验 范式 。 在 该 任务 中 ， 有 四 张 不 同 的 卡片 作为 线索 (cue)， 有 了 晴天 和 雨天 两 种 天 气 作为 结果 (outcome)， 线 


索 卡 片 分 别 以 特定 概率 预测 天 气 ， 被 试 通过 反馈 习 得 


任务 一 样 ， 完 成 该 任务 也 涉及 基于 海马 


时 使 用 的 是 外 显 策略 还 是 内 隐 策 略 。 使 


片 1 就 判断 是 晴天 ， 


次 呈现 的 一 张 或 多 张 卡片 的 预测 概率 。 同 十 字 迷 宣 


每 
的 认 知 系统 和 基于 背 侧 纹 状 体 的 习惯 系统 ， 体 现在 个 体 在 类 别 学 习 


j 外 显 策略 的 个 体 只 依据 某 单一 线索 进行 判断 ， 如 只 要 出 现 线索 卡 


否则 就 判断 为 雨天 。 使 用 内 隐 策 略 的 个 体 则 先 学 习 每 张 线索 卡片 的 预测 概率 ， 然 后 综 


合同 时 出 现 的 几 张 线索 卡片 形成 线索 模式 ， 以 此 来 对 天 气 进 行 预测 。 研 究 者 根据 数学 模型 加 以 确认 个 体 采 


取 何 种 策略 。 有 研究 显示 ， 采 用 前 者 时 海马 得 到 激活 ， 采 用 后 者 时 纹 状 体 得 到 激活 (Shohamy et al., 2004). 


这 表明 外 显 策略 主要 有 认 知 系统 参与 ， 而 内 隐 策 略 则 反映 了 习惯 系统 的 控制 。 
同 采用 导航 任务 的 研究 一 样 


与 程度 以 及 相关 脑 机 制 。 实 验 组 


用 功能 核磁 共振 成 像 方法 ， 采 | 


SZ F 
» A} 


列 中 按键 回答 屏幕 上 的 线索 卡片 


IRA 


被 试 需 


Bo 
是 否 少 


概率 类 别 任务 的 


= 


研究 也 发 现 ， 应 激 减少 了 个 体 基 于 海马 的 学 习 ， 增 


加 了 基于 背 侧 纹 状 体 学 习 的 偏向 (Schwabe et al., 2013; Schwabe & Wolf, 2012)。Schwabe 和 Wolf(2012) 运 


报 任务 ， 研 究 急 


要 从 线索 卡片 中 


于 两 张 ， 因 此 不 


性 应 激 是 否 调 节 这 两 种 学 习 系 统 在 任务 学 习 中 的 参 


学 习 并 预测 天 气 ， 控 制 组 被 试 只 需 在 相同 的 试 次 序 


涉及 学 习 。 实 验 组 被 试 完 成 SECPT， 当 应 激 结束 后 


25 分 钟 唾液 皮质 醇 水 平 达到 预期 峰值 时 对 所 有 被 试 进行 核磁 共振 扫描 ， 并 让 其 执行 类 别 学 习 任务 。 结 果 发 


现实 验 组 被 试 更 多 采 


BORE, “THE 


制 | 。 


3.3 TAH? 


= 


j 多 线索 策略 ， 但 其 任务 成 绩 本 身 


于 空间 学 习 可 能 涉及 几何 认 知 ， 


因此 空间 导航 任 


没有 受到 应 激 影 响 。 脑 成 像 数 据 显示 实验 组 被 试 


组 被 试 海 马 得 到 激活 ， 这 也 首次 在 人 类 被 试 身 上 揭示 出 应 激 改 变 双 重 学 习 系统 的 脑 机 


务 在 菜 种 程度 上 无 法 推广 到 一 般 学 习 情境 ， 于 是 有 


研究 者 把 关注 点 放 在 工具 性 行为 


研究 上 


。 工 具 性 学 习 可 以 由 目标 导向 系统 控制 ， 其 神经 基础 是 眶 额 皮 质 与 


壳 核 (putamen)， 反 映 的 是 个 体 对 行动 和 结果 的 联结 ， 并 且 行 动 的 结果 是 个 体 所 需要 或 渴望 得 到 的 。 工 具 性 


学 习 也 可 以 由 习惯 系统 控制 ， 它 仅仅 建立 在 刺激 反应 联结 的 基础 之 上 ， 不 受 结果 的 影响 ， 与 之 相关 的 主要 


脑 区 是 尾 状 核 (caudate) (Dickinson, 1985)。 为 了 区 分 某 


具 性 行为 是 目标 导向 还 是 习惯 化 学 习 ， 许 多 研究 


发 展 出 一 套 工 具 性 学 习 范式 ， 划 


& O'Doherty, 2007)， 它 被 普遍 认为 是 证 有 


中 最 经 


的 是 结果 贬值 


任务 (outcome devaluation task) (Valentin, Dickinson, 


习惯 行为 存在 


的 金 标 准 。 训 练 阶段 ， 被 试 学 会 在 按键 和 食物 奖赏 
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之 间 建 立 联结 。 每 个 试 次 中 均 有 一 按键 能 够 高 概率 获得 食物 ， 另 一 按键 低 概率 获得 食物 。 贬 值 阶 段 ， 邀 请 


被 试 吃 下 所 得 食物 直到 有 饱 腹 感 ， 消 除 获 取 该 食物 的 动机 。 消 退 测试 阶段 ， 让 被 试 重 新 进行 按键 反应 。 如 


学 习 的 控制 。 该 任务 最 初 是 用 在 路 齿 类 动物 脑 


再 对 高 概率 食物 进行 按键 ， 说 明 对 结果 贬值 


额 皮 质 和 背 内 侧 纹 状 体 是 目标 导向 行为 的 3 


O'Doherty, 2010; Yin & Knowlton, 2006). 


果 被 试 依然 对 高 概率 食物 进行 按键 ， 则 说 明 对 结果 贬值 不 敏感 ， 其 行为 是 受 习惯 系统 的 控制 。 如 果 被 试 不 


敏感 性 ， 能 根据 动机 的 变化 来 指导 自己 的 选择 ， 受 目标 导向 


损伤 研究 中 ， 后 来 通过 改进 用 于 人 类 身上 ， 研 究 者 发 现 ， H 


[H 


要 脑 区 ， 同 时 背 侧 纹 状 体 是 习惯 行为 的 神经 基础 (Balleine & 


~ 


有 关 小 鼠 应 激 的 研究 表明 ， 相 比 非 应 激 组 ， 结 果 贬 值 之 前 受到 应 激 的 大 鼠 对 结果 价值 变化 不 敏感 ， 表 


现 出 更 多 的 习惯 化 行为 (Braun & Hauber, 2013)。 为 了 研究 应 激 对 人 类 目标 导向 学 习 的 影响 ，Schwabe 和 


Wolf(2011) 对 人 类 被 试 使 用 了 该 工具 性 学 习 任 务 ， 他 们 发 现 ， 在 测试 阶段 ， 相 比 控制 组 ， 应 激 组 被 试 没有 改 


变 按 键 反应 ， 表 现 出 更 多 的 习惯 化 行为 。 值 得 注意 的 是 ， 该 研究 中 应 激 的 诱发 是 发 生 在 贬值 阶段 之 前 ， 应 


激 很 可 能 对 训练 阶段 的 学 习 产 生 影响 。 为 了 避免 这 种 混淆 因素 的 干扰 ， 研 究 者 的 另 一 项 工作 是 将 应 激 设 置 


在 贬值 阶段 之 后 ， 并 


Lim 
mn 


岗 了 上 述 研 究 结 果 (Schwabe & Wolf, 2010)。 在 随后 的 研究 中 ， 给 应 激 组 的 一 半 被 试 


服用 一 种 叫 心安 得 的 B 崩 上 腺 素 阻 断 剂 ， 以 减少 应 激 导 致 的 生理 反应 ， 结 果 发 现 , 用 药 组 被 试 表现 出 目标 时 


向 行为 (Schwabe, Hoffken, Tegenthoff, & Wolf, 2011)。 结 果 价 值 改变 之 后 的 目标 导向 行为 是 一 种 灵活 、 具 有 


适应 性 的 行为 ， 以 上 研究 表明 应 激 对 该 适应 


介 的 。 然 而 ， 这 些 结果 难以 解决 应 激 究竟 


系统 得 到 提升 ， 又 或 是 两 者 兼 而 有 之 。 针 对 上 出 


4 


行 


为 


具有 损害 作用 ， 并 且 这 种 损害 可 能 是 以 骨 上 腺 激素 为 中 


影响 哪 种 学 习 系 统 的 问题 : 是 目标 时 向 系统 受到 损害 ， 还 是 习惯 


上 问题， 近期 有 研究 发 现 ， 应 激 组 被 试 在 一 些 仅 依赖 习惯 系统 


的 试 次 中 能 够 很 好 地 完成 任务 ， 表 明 应 激 是 通过 对 目标 导向 系统 产生 作用 继而 影响 行为 的 灵活 性 ， 并 没有 


导致 习惯 系统 的 损伤 (Fournier, d'Arripe-Longueville, & Radel, 2017)。 同 基于 海马 或 背 侧 纹 状 体 的 学 习 一 样 ， 


工具 性 学 习 也 受 慢性 应 激 和 生命 早期 应 激 的 影响 , 并 且 都 是 转向 更 加 习惯 化 的 反应 (Dias-Ferreira et al., 2009; 


Seehagen, Schneider, Rudolph, Ernst, & Zmyj, 2015)。 辟 如， 应 激 对 认 知 功能 的 许多 研究 都 是 针对 成 年 被 试 而 


展开 ， 对 个 体 生命 早期 的 探讨 还 比较 少 。 


为 此 研究 者 设计 了 婴儿 版 的 工具 性 学 习 任 务 ， 让 婴儿 学 习 按 压 按 


钮 (Seehagen et al., 2015)。 操 纵 实 验 使 得 学 习 阶 段 能 导致 亮 灯 和 声响 的 两 个 按钮 到 了 测试 阶段 不 再 有 任何 效 


应 ， 即 所 谓 的 贬值 ， 然 后 观察 婴儿 在 该 阶段 的 行为 反应 。 对 实验 组 婴儿 采用 三 阶段 应 激 ， 以 便 有 效 引 起 婴 


儿 唾 液 皮 质 醇 水 平 的 升 高 (van Bakel & Riksen-Walraven, 2004)。 结 果 发 现 ， 经 历 应 激 后 的 婴儿 在 测试 阶段 选 


ee 


择 继续 按压 相同 的 按钮 ， 尽 管 该 按钮 不 


T) T 


J 


音 和 光亮 ， 而 控制 组 婴儿 按压 习惯 按钮 后 开始 尝试 另 一 个 


按钮 ， 表 明 应 激 导 致 婴儿 认 知 灵活 性 下 降 ， 面 对 变化 了 的 环境 时 无 法 调整 自己 的 行为 。Soares 等 人 (2012) 使 


a 


日 脑 成 像 研究 发 现 ， 经 历 长 时 间 医 学 考试 准备 的 慢性 应 激 者 表现 习惯 化 行为 ， 同 时 伴随 着 尾 状 核 、 壳 核 结 
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构 和 功能 的 


标 导 向 行为 ， 说 明 慢 性 应 激 对 大 脑 结构 和 功能 的 影响 是 可 逆 的 ， 该 结果 对 于 应 激 的 临床 研究 有 


改变 ， 


且 ， 通 过 追踪 研究 发 现 ， 考 试 结束 六 个 月 后 ， 原 来 的 慢性 应 激 组 被 试 又 重新 表现 出 目 


意义 。 以 上 研究 表明 , 不 论 是 急性 应 激 、 慢 性 应 激 还 是 4 


均 得 出 较为 一 致 的 结论 ， 即 应 激 加 强 了 个 体 的 习惯 行为 倾向 。 


34 ”工具 性 学 习 的 计算 模型 


经 过 长 


导 疝 行为 的 计算 模型 。Sutton 和 Barto(1998) 受 人 工 智 能 、 最 优 控 币 


(Reinforcement learning, RL)， 并 采用 计算 和 建 模 方法 而 


期 的 发 展 ， 工 具 性 学 习 领 域 积累 了 大 量 的 


RRR, 研究 


定 的 理论 


E 命 早期 应 激 ,也 不 论 是 行为 实验 还 是 脑 成 像 实验 ， 


在 此 基础 上 提出 了 习惯 学 习 和 目标 


=, 


理论 的 启发 ， 提 出 强化 学 习 理 论 


究 个 体 如何 通 过 


系列 试 误 (trial and error) 来 学 习 所 


来 评估 基于 模型 的 学 习 (model-based) 和 无 模型 学 习 (model-free) 两 者 之 间 的 平衡 。 基 于 模型 


的 范式 叫 系 列 决策 任务 (sequential 


处 的 环境 进而 帮助 个 体 在 最 大 化 获得 奖赏 的 同时 减少 惩罚 。 最 常 | 

decision task), H 

的 学 习 者 需要 预测 在 每 一 特定 状态 下 采取 某 种 行动 将 产 4 

前 的 预测 ， 得 到 预测 错误 (prediction error, PE)， 根 据 PE 来 1 

型 : 不 同 的 行动 如 何 导 向 不 同 的 场景 或 结果 ， 以 及 这 些 结果 如 何 映射 
行动 的 潜在 价值 并 指导 个 体 做 出 后 续 选 择 。 相 反 ， 无 模型 的 学 习 者 只 关注 行动 的 
收益 的 行动 ， 得 至 


策 任务 中 ， 每 一 试 次 的 阶段 


通常 有 两 种 不 同 的 图 形 可 供 选择 ， 每 种 图 


的 行动 结果 ， 采 取 该 行动 后 比较 既定 的 结果 和 先 


到 价值 。 


周 整 后 续 的 预测 和 行动 并 更 新 有 关 该 任务 的 内 部 模 


模型 的 建构 有 利于 评估 各 种 


直接 价值 ， 维 持 过 去 有 纯 


| 奖赏 则 增加 后 续 该 行动 ， 得 到 惩罚 则 相应 减少 该 行动 。 显 然 ， 基 于 模型 的 学 习 被 认为 是 


标 导向 的 ， 而 无 模型 学 习 被 认为 是 习惯 化 的 (Daw, Gershman, Seymour, Dayan, & Dolan, 2011)。 在 系列 决 


形 均 有 固定 的 概率 指向 阶段 二 的 状 


。 进 入 阶段 二 ， 被 试 同样 需要 在 两 种 图 形 刺激 中 选择 其 一 ， 然 后 得 到 金钱 奖赏 或 无 奖赏 的 反馈 ， 图 形 对 


阶段 一 到 阶段 二 的 转化 是 常见 转化 还 是 罕见 转化 ,相反 ， 
选择 阶段 一 中 能 导致 常见 转化 并 最 终 


应 金钱 奖赏 的 概率 在 一 定 范围 内 浮 忆 


)。 习 惯 化 的 学 习 者 总 是 


E 复 选择 阶段 一 能 得 到 奖赏 的 图 形 ， 而 不 考虑 


目标 导向 的 学 习 


得 到 奖赏 的 图 


AS 


得 到 被 试 基 


于 模型 学 习 和 无 模型 学 习 各 自 的 比重 。 


。 研 究 者 根据 被 试 的 选择 ， 采 用 强化 学 习 的 计算 模型 


则 需要 考虑 该 任务 的 转化 结构 ， 


许多 研究 表明 ， 在 正常 情境 下 ， 系 列 决策 任务 中 学 习 者 均 同 时 表现 出 两 种 模型 系统 的 控制 (Daw et al., 


2011; Gershman, Markman, & Otto, 2014; Glascher, Daw, Dayan, & O'Doherty, 2010)。 基 于 模型 的 学 习 需 要 消 


互 竞 争 ， 共 


’ 但 


有 灵活 性 ， 而 无 模型 学 习 则 节省 资源 ， 却 牺 


EFE h 


I 个 体 的 行为 。 但 是 ， 哪 些 因素 


a) 


作 记 | 


以 影响 这 


页 种 系统 对 行为 的 主导 作 | 


牲 了 灵活 性 ， 这 两 种 系统 是 并 行 存在 而 又 相 


] 尚 不 清楚 。 研 究 者 


容量 的 损耗 可 以 减少 个 体 对 基于 模型 系统 的 依赖 ， 但 对 无 模型 系统 没有 影响 (Otto， 


Gershman, Markman, & Daw, 2013)， 而 先前 的 研究 已 经 证 明 应 激 影 响 


作 记 忆 以 及 前 额 叶 中 与 工作 记忆 相 


关联 的 脑 区 (Lupien, Gillin, & Hauger, 1999; Qin, Hermans, van Marle, Luo, & Fernandez, 2009; Schoofs, Wolf, & 
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Smeets, 2009)， 因 此 推测 应 激 可 以 选择 性 地 影响 基于 模型 的 学 习 同 时 不 影响 无 模型 的 学 习 。 于 是 Otto 等 人 


(2013) 采 用 SECPT, 在 诱发 被 试 应 激 10 分 钟 后 ， 让 被 试 执行 强化 学 习 任务 , 同时 采用 工作 记忆 量 表 测 查 被 试 


的 认 知 能 力 。 实 验 结果 与 假设 一 致 ， 应 激 损害 了 个 体 对 基于 模型 系统 的 利用 ， 同 时 无 模型 系统 不 受 影 响 。 


并 且 实 验 还 发 现 ， 急 性 应 激情 境 下 ， 工 作 记忆 能 力 较 低 的 个 体 倾 向 于 无 模型 学 习 ， 而 工作 记忆 能 力 较 高 的 


个 体 可 以 有 效 避 免 急性 应 激 时 致 的 无 模型 学 习 偏向 。 而 另外 一 项 研究 发 现 ， 应 激 反 应 的 个 体 差 异 有 效 预 测 


了 基于 模型 学 习 的 损伤 情况 ， 相 比 低 慢 性 应 激 水 平 的 被 试 ， 高 慢性 应 激 水 平 的 被 试 在 面 对 急性 心理 社会 应 


7 


激 时 表现 出 较 低 的 基于 模型 的 控制 (Radenbach et al., 2015)。 这 些 研究 表明 ， 工 作 记 忆 和 慢性 应 激 在 急性 应 


激 导致 的 无 模型 学 习 倾向 中 起 着 调节 作用 ， 因 此 未 来 研究 需要 充分 考虑 HPA 轴 反应 的 个 体 差异 问题 ， 并 在 


临床 应 用 中 有 针对 性 地 训练 个 体 的 认 知 能 力 和 压力 疏导 ， 提 高 个 体 应 对 应 激 事件 的 能 力 。 


需要 指出 的 是 ， 以 上 这 四 种 研究 传统 ， 都 是 在 学 习 系统 二 分 法 的 的 框架 下 发 展 而 来 ， 即 它们 都 共同 指 


向 反射 性 系统 和 反思 性 系统 。 综 上 所 述 ， 我 们 认为 ， 不 论 采 用 哪 种 学 习 类 型 和 实验 范式 ， 也 不 论 针 对 哪 种 


被 试 类 型 ， 过 去 研究 均 得 出 了 较为 一 致 的 结论 ， 即 应 激 导 致 基于 大 脑 皮 层 的 反思 性 系统 向 基于 纹 状 体 的 反 


射 性 系统 转变 ， 并 且 这 种 效应 是 以 神经 递 质 和 荷尔蒙 (如 去 甲骨 上 腺 素 和 糖 皮 质 激素 ) 为 中 介 的 。 
4 应 激 影响 双重 学 习 系统 的 心理 机 制 


应 激 影响 双重 学 习 系统 的 心理 机 制 可 以 从 巴 甫 洛 夫 一 工具 性 转化 (Pavlovian-Instrumental Transfer, PIT) 


的 角度 加 以 解释 。 巴 甫 洛 夫 条 件 反 射 也 叫 经 典 条 件 反射 ， 指 的 是 中 性 刺激 与 非 条 件 刺 激 建立 联结 后 可 以 成 


为 条 件 刺激 ， 从 而 诱发 某 一 特定 行为 。 例 如 ， 铃 声 与 食物 配对 呈现 ， 动 物 习 得 的 标志 是 只 要 每 次 听 到 铃声 


就 会 流 口水 或 朝向 食物 放置 点 。 工 具 性 条 件 反 射 与 巴 甫 洛 夫 条 件 反 射 的 主要 区 别 在 于 前 者 需要 个 体 做 出 主 


H 


动 的 行为 反应 然后 加 以 强化 。 例 如 ， 老 鼠 需 要 通过 按压 杠杆 以 获得 食物 ， 而 按压 杠杆 的 训练 可 以 导致 本 文 


所 关注 的 两 种 工具 性 行为 ， 即 习惯 学 习 和 目标 导向 行为 。 在 PIT 范式 中 ， 研 究 者 对 动物 进行 训练 ， 首 先是 巴 


甫 洛 夫 学 习 ， 如 呈现 光 刺激 后 给 动物 提供 食物 ， 然 后 是 工具 性 学 习 ， 即 让 动物 学 习 通过 按压 杠杆 来 获得 局 


ql] 


样 的 食物 奖赏 。 训 练 结束 后 研究 者 撤 掉 食物 ， 把 动物 置 于 有 杠杆 的 测试 区 ， 并 为 其 呈现 光 刺 激 ， 结 果 发 现 


动物 按压 杠杆 的 频率 大 大 增加 。 该 范式 后 来 也 被 用 于 人 类 被 试 身 上 ， 研 究 条 件 刺激 对 工具 性 学 习 的 影响 及 


= 


神经 机 制 。 


尽管 巴 甫 洛 夫 和 


性 学 习 存 在 着 很 大 的 不 同 ， 然 而 许多 研究 表明 ， 在 许多 条 件 下巴 甫 洛 夫 条 件 刺 激 


4 


却 可 以 直接 影响 工具 性 条 件 学 习 (Rescorla & Solomon, 1967)。 辟 如， 呈现 能 引起 食欲 的 条 件 刺激 ， 将 促进 按 


压 杠 杆 以 获得 食物 (Balleine, 2001; Hall, Parkinson, Connor, Dickinson, & Everitt, 200D) 。 类 似 地 ， 呈 现 酒精 相 


关 的 线索 刺激 ， 酒 精 成 瘾 者 表现 出 对 酒精 奖赏 的 工具 性 行为 (Rescorla & Solomon, 1967)。 因 此 ， 巴 表 洛 夫 条 


件 刺激 既然 可 以 促进 工具 性 学 习 ， 那 么 也 就 可 以 导致 目标 导向 学 习 到 习惯 学 习 的 转变 。 有 研究 为 此 推论 提 
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供 了 证 据 ， 璧 如 , 在 动物 模型 中 , 研究 者 发 现 作 为 非 条 件 刺激 的 应 激 源 (如 脚 部 电击 或 猎 食 者 气味 ) 导 致 了 行 


为 的 习惯 化 


因此 ， 


转变 (Packard, 2009)。 


á 


我 们 可 以 这 么 理解 ， 


PIT 进而 促 ; 


应 激 首先 作为 条 件 或 非 条 件 刺激 ， 对 个 体 的 巴 甫 洛 夫 学 习 产 生 影响 ， 通 过 


工具 性 学 习 ， 导 致 个 体 从 目标 导向 到 习惯 学 习 的 转变 。 


5 应 激 影响 双重 学 习 系 统 的 神经 机 制 
过 去 研究 者 通过 fMRI 和 药物 操纵 法 (包括 受 体 激动 剂 和 阻 断 剂 ) 来 研究 应 激 影响 双重 学 习 系统 的 神经 机 


制 ， 也 得 出 


较为 清晰 的 结论 。 在 应 激 导 致 的 习惯 化 转变 中 ， 发 挥 重 要 作用 的 激素 包括 去 甲 明 上 腺 素 和 糖 皮 


质 激 素 ， 相 关 的 受 体 有 MR 受 体 ， 涉 及 的 关键 脑 区 有 杏仁 核 以 及 前 文 已 经 提 到 的 海马 和 背 侧 纹 状 体 。 


5.1 海马 ， 背 侧 纹 状 体 和 杏仁 核 
有 研究 采用 fMRI 手段 ， 发 现 经 历 应 激 的 个 体 在 概率 类 别 学 习 中 趋向 习惯 化 学 习 ， 同 时 其 海马 体 的 神经 
活动 减少 ， 而 海马 体 正 是 认 知 控制 的 关键 脑 区 (Schwabe et al., 2013; Schwabe & Wolf, 2012)。 为 了 探讨 应 


激 如 何 影 响 习 惯 系统 脑 


区 的 激活 ， 最 近 一 项 结合 了 EEG( 脑 电 ) 和 fMRI 的 研究 发 现 应 激 组 被 试 的 背 侧 纹 


状 体 激活 显著 增强 (Wirz, Wacker, Felten, Reuter, & Schwabe, 2017)。 还 有 研究 从 功能 连接 的 角度 揭示 出 可 


仁 核 在 应 激 
状 体 的 功能 


导致 的 习惯 化 反应 中 扮演 着 重要 角色 。 具 体 来 说 ， 这 些 研究 发 现 ， 应 激增 强 了 杏仁 核 一 背 侧 纹 


连接 ， 同 时 降低 了 禁 仁 核 一 海马 体 的 功能 连接 (Schwabe et al., 2013; Vogel et al., 2015; Vogel et 


al., 2017; Wirz et al., 2017)。 而 在 较 早 的 研究 中 ， 研 究 者 在 大 鼠 身 上 采用 十 字 迷 富 任务 ， 并 对 大 鼠 杏仁 核 注 


射 育 亭 宾 (yohimbine， 一 种 致 焦虑 药物 )， 发 现 该 药物 导致 大 鼠 向 基于 尾 状 核 ( 背 侧 纹 状 体 的 一 部 分 ) 的 习惯 


学 习 转变 (Packard & Wingard, 2004). 


5.2 ”去 甲 肾上腺 素 


值得 一 提 的 是 ， 上 述 Packard 的 药物 操纵 研究 中 ， 育 亨 宾 药物 的 致 焦虑 特性 实际 上 一 部 分 归 因 于 其 对 去 


P'E ERK 


用 。 为 了 验 


能 系统 的 作用 ， 因 此 也 在 某 种 程度 上 说 明了 去 甲骨 上 腺 素 在 应 激 导 致 的 习惯 化 学 习 中 所 起 的 作 


T 


证 这 一 点 ，Wirz 等 人 (2017) 考 察 了 有 特定 基因 差异 的 个 体 在 应 激 下 的 概率 类 别 学 习 ， 发 现在 应 


激 条 件 下 ADRA2B 基 因 缺 失 变异 体 携带 者 相 比 非 携带 者 表现 出 较 低 的 习惯 化 偏向 。 而 ADRA2B 基 因 是 人 体 


中 编码 q2b 型 骨 上 腺 素 受 体 (o2b-adrenoceptoD 的 基因 ， 缺 少 该 基因 的 个 体 无 法 编码 q2b 型 骨 上 腺 素 受 体 ， 因 


此 也 阻 断 了 


可 缺少 的 重要 一 环 。 


5.3 ” 糖 皮质 激素 以 及 MR 受 体 


糖 皮质 


肾上腺 激素 对 禁 仁 核 的 作用 ， 从 而 减少 了 个 体 的 习惯 化 反应 。 该 研究 证 明 去 甲骨 上 腺 素 的 正常 


激素 ， 如 人 体 中 的 皮质 醇 被 认为 是 应 激 和 学 习 之 间 一 个 主要 的 调节 因素 。 为 了 考察 糖 皮质 激素 


的 作用 , 研究 


了 药物 操纵 入 


x 


nfMRI 相 结合 的 研究 手段 , 给 实验 组 被 试 口服 MR 受 体 阻 断 剂 , 揭示 了 应 激 
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与 MR 受 体 在 影响 杏仁 核 一 背 侧 纹 状 体 功能 连接 方 


大 鼠 的 背 外 侧 纹 状 体 


了 背 外 侧 纹 状 体 接 受 


明 ， 大 鼠 的 背 外 侧 纹 


糖 皮质 激素 的 作用 以 


面 的 交互 作用 (Vogel etal., 2015)。Schwabe 等 人 (2010) 对 


和 背 内 侧 纹 状 体 分 别 注射 糖 皮 


质 激素 ， 然 后 让 大 鼠 执 行 空 间 迷 宫 任 务 ， 结 果 发 现 ， 只 


注射 的 大 鼠 同 历经 过 度 训练 的 大 鼠 一 样 ， 表 现 出 刺激 反应 学 习 的 倾向 。 该 研究 首先 表 


状 体 构 成 了 习惯 学 习 的 神经 基础 ， 在 人 身上 对 应 的 结构 是 壳 核 。 其 次 ， 该 研究 揭示 了 


及 表明 了 利用 药物 阻 断 该 激素 可 以 避免 应 激 导 致 大 鼠 的 习惯 化 偏向 。 另 外 两 项 在 人 类 


被 试 身 上 的 研究 也 重复 验证 了 糖 皮 质 激素 或 MR 受 体 的 作用 (Schwabe et al., 2013; Vogel et al., 2017). 


5.4 去 甲 肯 上 腺 素 和 糖 皮质 激素 的 交互 作用 


以 上 研究 表明 了 


确 或 直接 揭示 二 者 之 


究 ， 给 被 试 或 单独 口服 氧化 可 的 松 (hydrocortisone)， 或 单 


对 照 组 ， 然 后 让 被 试 


服用 两 种 药物 的 被 试 


ao 


去 甲骨 上 腺 素 和 糖 皮 质 激 素 各 


间 在 影响 行为 控制 的 交互 关系 。 为 了 考察 它们 的 交互 作用 ， 研 究 者 采用 


执行 结果 贬值 人 


自在 应 激 导 致 的 习惯 化 学 习 方 


看 的 作用 ， 但 是 并 未 能 明 


了 药物 操纵 研 


独 口 服 


训 宾 ,或 两 者 同时 服用 ， 男 外 设置 非 用 药 


E 务 (Schwabe, Tegenthoff, Hoffken, & Wolf, 2010)。 结 果 发 现 ， 只 有 同时 


在 测试 阶段 表现 出 对 结果 贬值 的 不 敏感 性 ， 即 习惯 化 反应 ， 而 单独 服用 某 一 种 药物 和 


空白 对 照 组 被 试 的 目 


标 导向 行为 


被 试 的 脑 成 像 数据 ， 


KAZ. Mm i 


bs 


究 者 还 在 保留 该 研究 设计 的 基础 上 增加 fMRI， 收 全 


ar 


重复 了 行为 结果 的 同时 还 发 


见 ， 去 


前 额 叶 (medial prefrontal cortex, mPFC) 和 有 眶 额 皮质 


Wolf, 2012)。 而 这 些 朋 


区 域 的 


1 肾上腺 素 和 糖 皮质 激素 的 这 种 交互 效应 还 跟 内 侧 


活动 减少 显著 相关 (Schwabe, Tegenthoff, Hoffken, & 


商 区 正 是 构成 目标 导向 学 习 的 神经 基础 (Balleine & O'Doherty, 2010). Atk, 2: A'S LIR 


素 和 糖 皮质 激素 的 协同 作用 还 导致 了 目标 导向 学 习 系 统 的 损伤 。 
aZ, RPE 


背 侧 纹 状 体 、 内 侧 前 


控制 到 反射 性 系统 控 


腺 素 和 糖 皮质 激素 在 杏仁 核 的 参与 条 件 下 协同 作用 于 双 系 统 相 关 的 脑 区 ， 


额 叶 和 有 眶 额 皮 质 ， 从 而 对 空间 学 习 或 目标 导向 学 习 产生 损害 


制 的 转变 。 


导致 个 体 从 反思 性 系统 


6 应 激 条 件 下 的 双重 学 习 系统 研究 对 毒品 成 瘾 的 启示 


#5 im BUR (drug addiction) æ —# KHR RH 


及 其 家 人 和 社会 带 来 严重 的 负担 。 许 多 因素 包括 


Catalano, Haggerty, Gainey, & Fleming, 1998), 


ZV, TESE ih BORLA 


探讨 的 应 激 对 双重 学 


iA 


疾病 ， 以 强迫 性 药物 寻求 和 社会 功能 受 损 为 特点 ， 给 个 体 


人 格 、 社 会 环境 和 生活 事件 可 以 导致 成 殉 (Brewen 


同时 研究 表 


明 ， 应 激 可 以 影响 个 体 用 药 动机 、 奖 赏 系统 和 药物 


成 和 复发 过 程 中 起 着 关键 的 作用 (Piazza & Le Moal, 1998; Sinha, 2001, 2008)。 本 文 所 


习 系统 的 影响 ， 有 利于 加 深 对 毒品 成 疗 形 成 和 复发 的 认识 ， 为 进一步 的 临床 诊断 和 治 


疗 提供 一 定 的 启示 (Packard, 2009; Packard & Goodman, 2012). 


Schwabe 等 人 (20 


A, HE NERA 


LOPER T EE oh ORE IRA, Haas SA RH TARE E SPE 


后 的 认 知 机 制 。 研 究 者 认为 ， 


在 初 


期 接触 毒品 阶段 ， 个 体 虽 然 主要 受 目标 导 


:向 系统 控 


一 
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i, f 


化 的 反应 ， 因 此 表现 出 更 多 的 毒品 寻求 和 摄 入 行为 ， 毒 品 成 ; 


毒品 相关 的 线索 刺激 能 唤起 个 体 寻求 和 摄 入 毒品 的 反应 ， 


于 应 激 导 致 执行 功能 受 损 ， 使 个 体 无 法 有 效 地 抑制 | 


Shi 


入 毒品 的 行为 。 在 摄 入 毒品 之 后 ， 应 激 ， 包 


括 急性 应 激 和 慢性 应 激 ， 使 得 目标 导向 系统 和 习惯 系统 对 工具 性 行为 的 控制 


产生 失衡 ， 导 致 个 体 趋向 自动 


看 由 此 形成 。 在 


毒品 戒 断 期 间 ， 应 激 通 过 去 甲 


肾上腺 素 和 糖 皮 质 激 素 的 协同 作用 导致 个 体 行为 受 习惯 系统 的 控制 ， 同 时 


因此 应 激 也 就 增加 


于 刺激 反应 联结 已 经 形成 ， 与 


了 个 体 成 疗 复 发 的 风险 。 研 究 


者 的 另外 两 项 研究 中 发 现 ，B 阻 断 剂 或 糖 皮质 激素 撞 抗 剂 可 能 有 助 于 防止 毒品 成 首 的 复发 ($chwabe， 


Dickinson, et al., 2011; Schwabe & Wolf, 2011)。 总 之 ， 应 激 对 毒品 成 瘾 和 复发 的 影响 是 通过 皮质 醇 水 平 的 上 


升 和 促进 双重 学 习 系统 的 失衡 为 中 介 的 。 


应 激 对 毒品 成 瘾 的 影响 也 可 以 通过 应 激 影响 双 学 习 系 统 的 心理 


EE 机制 即 巴 甫 洛 夫 一 工具 性 转化 来 理解 。 


期 应 激 个 体 的 禁 仁 核 较 大 ， 枣 蛋 条 件 作 用 也 更 强 (Tottenham & Sheridan, 2010)。 由 此 可 以 推论 ， 巴 甫 洛 夫 恐 


巴 甫 洛 夫 条 件 刺激 可 以 促进 工具 性 学 习 ， 导 致 目标 导向 学 习 到 习惯 学 习 的 转变 。 同 时 有 研究 显示 ， 经 历 早 


惧 线 索 刺 激 也 具备 这 种 效应 ， 尤 其 对 于 杏仁 核 功能 异常 的 个 体 ， 习 惯 化 倾向 将 会 更 加 明显 。 因 此 ， 厌 恶 条 


件 刺激 可 以 改变 个 体 的 工具 性 行为 ， 当 有 生命 早 雪 


有 应 激 史 的 个 体 


容易 表现 出 习惯 化 行为 ， 于 是 也 更 加 具备 物质 滥 


因 某 种 原因 


2003; Dube, Felitti, Dong, Giles, & Anda, 2003; Macleod et al., 2013). 


以 上 两 种 模型 可 知 ， 应 激 通过 影响 个 体 激素 水 了 


想起 过 去 的 厌恶 事件 时 ， 将 更 


月 和 毒品 成 瘾 的 风险 (Dube, Felitti, Dong, Chapman, et al., 


或 大 脑 有 关 结 构 ， 进 


而 导致 双重 学 习 系统 的 失衡 ， 


在 毒品 成 瘾 的 形成 和 复发 中 起 着 关键 的 作用 。 


上 进行 对 个 体 进行 干预 ， 如 服 ) 


激 的 能 力 ， 从 而 间接 有 效 地 控制 毒品 成 疗 的 发 展 历程 。 


7 总 结 与 展望 


因此 ， 在 毒品 成 瘾 行为 的 临床 治疗 上 ， 可 以 考虑 在 应 激 环节 


综 上 ， 我 们 梳理 


了 急性 应 激 或 慢性 应 激 条 件 下 个 体 双 重 学 习 系 统 发 4 


相关 药物 阻 断 皮 质 醇 与 MR 受 体 的 结合 , 或 者 通过 认 知 训练 提高 个 体 应 对 应 


失衡 的 认 知 过 程 和 生理 机 制 ， 最 


后 也 从 该 视 


有 出 发 重新 解释 毒品 成 疗 的 形成 和 复发 原因 。 在 紧急 或 不 可 控 情 境 下 ， 急 性 应 激 反应 可 以 短暂 


地 提高 个 体 的 警觉 和 注意 ， 促 使 个 体 趋向 于 运用 习惯 系统 ， 加 快 行为 反应 ， 同 时 节省 认 知 资源 ， 这 被 认为 


是 一 种 适应 性 机 制 (Vogel et al., 2016)。 然 而 ， 


转 ， 将 严重 影响 个 体 学 习 的 灵活 性 以 及 记忆 的 准 而 


不 良 习惯 化 行为 还 可 以 导致 应 激 相 关 的 心理 


EAS + 


疾病 , 如 应 激 创伤 障碍 和 毒品 成 


当 应 激 事件 结束 ， 这 种 应 激 导 致 的 习惯 化 反应 如 果 不 能 发 生 道 


性 (Dandolo & Schwabe, 2016)。 甚 至 ， 长 期 的 应 激 体验 和 


(de Quervain, Schwabe, 


& Roozendaal, 2017; Goodman, Leong, & Packard, 2012)。 事 实 上 ， 应 激 状 态 下 个 体 向 习惯 化 学 习 的 转变 ， 短 


时 间 内 也 可 以 视 为 一 种 适应 性 行为 ， 


且 学 习 系统 失衡 长 


期 持续 ， 将 给 个 体 带 来 负面 影响 。 


目前 ， 应 激 条 
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件 下 双重 学 习 系 统 的 看 


地 改善 。 


究 已 经 积累 了 不 少 成 果 ， 然 而 ， 我 们 认为 未 来 的 


完 还 需要 围绕 以 下 几 点 进行 相应 


首先 是 关于 习惯 系统 的 定义 以 及 实验 任务 本 身 的 可 靠 性 。 目 前 由 于 许多 研究 涉及 不 同 的 实验 任务 ， 对 


习惯 学 习 普 遍 定 义 为 一 种 非 灵 活 的 自动 化 行为 ， 是 建立 在 刺激 和 反应 之 间 的 联结 ， 但 是 具体 到 每 个 任务 中 


习惯 学 习 的 各 项 特征 和 


届 性 并 不 十 分 明确 ， 例 如 ， 习 惯 行为 是 先天 的 还 是 后 天 逐渐 习 得 的 ， 是 否 需要 注意 


或 意识 的 参与 。 即 使 采用 同一 种 实验 范式 ， 许 多 脑 成 像 研究 之 间 发 现 激活 的 脑 区 也 不 尽 相同 。 最 近 一 项 针 


对 人 类 习惯 学 习 的 元 分 书 


尾 状 核 与 壳 核 的 激活 ， 


发 现 了 尾 状 核 的 激活 ， 


并 且 体 素 峰 值 均 位 于 相关 结构 靠 前 的 部 位 。 相 反 ， 


体 素 峰 值 部 位 比较 靠 后 。 值 得 一 提 的 是 ， 该 研究 还 


学 习 范 式 的 研究 所 得 出 的 结论 比较 


2018)。 人 类 的 壳 核 跟 


对 于 导航 学 习 和 概率 类 别 学 习 任务 ， 结 果 贬 值 和 强化 学 习 任务 更 为 有 效 地 


发 现 ， 采 用 概率 类 别 学 习 任务 的 研究 有 的 报告 了 


尾 状 核 的 激活 ， 有 的 同时 报告 了 


采用 迷宫 导航 学 习 的 研究 大 多 只 


发 现 ， 采 用 结果 贬值 任务 和 强化 


致 ， 普 遍 报告 了 侧 壳 核 (lateral putamen) 的 激活 (Patterson & Knowlton, 


尖 具 类 动物 中 的 背 侧 纹 状 体 一 样 均 为 习惯 行为 的 主要 脑 区 ， 因 此 这 些 结 果 也 表明 ， 相 


区 分 出 习惯 学 习 和 目标 导向 学 习 


x 


两 种 系统 ， 似 乎 是 更 为 可 靠 的 研究 人 类 习惯 行为 的 范式 。 未 来 研究 可 以 结 


其 次 是 有 关 个 体 差 异 对 应 激 和 双 引 


合 前 后 这 两 类 学 习 范 式 ， 有 利于 


直接 确认 习惯 反应 的 存在 ， 同 时 也 可 以 更 加 行 之 有 效 地 区 分 出 对 贬值 不 敏感 的 个 体 或 人 群 。 


学 习 系 统 之 间 关 系 的 影响 。 应 激 从 本 质 上 理解 ， 它 是 个 体 对 外 界 环 


境 的 一 种 主观 体验 ， 这 种 主观 性 决定 了 群体 的 异 质 性 ， 比 如 一 种 情景 对 某 人 来 说 是 应 激 源 ， 而 对 其 他 人 来 


说 却 很 可 能 是 一 种 激励 源 。 男 外 ， 如 前 文 所 述 ， 个 体 工作 记忆 能 力 或 者 知 


商 的 差异 也 会 对 应 激 反 应 产生 影 


响 。 有 证 据 表明 ， 认 知 差异 有 一 部 分 是 由 基因 决定 的 。 例 如 ， 人 体 中 编码 a2b 型 骨 上 腺 素 受 体 的 基因 为 


ADRA2B 基 因 ， 携 带 该 基因 的 个 体 在 应 激情 境 下 杏仁 核 激 活 更 强 (Cousijn et al., 2010)。 而 Wirz 等 人 (2017) 最 


近 的 研究 采用 概率 类 别 学 习 任 务 ， 发 现在 应 激 条 件 下 ADRA2B 基 因 


缺失 变异 体 携带 者 相 比 非 携带 者 表现 出 


较 低 的 习惯 化 偏向 。 未 来 可 以 借助 这 些 研究 的 经 验 ， 关 注 个 体 差 异 尤 其 是 基因 水 平 的 差异 在 应 激 和 双重 学 


习 系 统 之 间 所 起 的 调节 作用 ， 以 期 更 好 地 理解 应 激 影 响 双重 学 习 系 统 背 后 的 机 制 ， 并 最 终 在 临床 应 用 中 为 


应 激 敏 感人 群 提供 个 怕 


FE 化 治疗 手段 。 


还 有 ， 需 要 考虑 应 激 源 的 时 间 因 素 。 时 间 因素 包括 应 激 任 务 潜伏 期 ， 


三 个 因素 (Lupien, McE 


a 


迅速 引发 神经 元 兴奋 ， 


wen, Gunnar, & Heim, 2009). MÙ 


而 GR SEAR AR APER A, SARAS BNE IT R SA 


释 实 验 结果 与 HPA 轴 的 相关 性 ， 对 应 激 任务 潜伏 期 的 校正 显得 尤为 重要 。 


应 激 源 持续 时 间 和 个 体 早期 应 激 


E 务 潜伏 期 ， 表 示 应 激 后 、 任 务 前 的 那 一 段 时 间 。 


于 GR 受 体 和 MR 受 体 对 HPA 轴 影 响 下 产生 的 糖 皮 质 激素 杀 和 性 不 同 ，MR 受 体 亲 和 性 较 大 ， 与 激素 结合 后 


i 


因此 ， 为 了 解 
例如 有 研究 表明 ， 间 隔 几 分 钟 的 


差异 将 足够 影响 应 激 对 冒险 行为 的 效应 (Pabst, Brand, & Wolf, 2013; Salvador et al., 2017)。 按 应 激 源 持续 时 
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间 ， 可 将 应 激 分 为 急性 应 激 和 慢性 应 激 。 有 研究 表明 ， 在 动物 实验 (Dias-Ferreira et al., 2009) 和 人 类 实验 


(McEwen, 2007) 中 , 比 起 急性 应 激 , 慢性 应 激 (BD 


imli 


E 复 应 激 源 的 呈现 ) 与 决策 相关 脑 区 的 结构 变化 存在 相关 。 


类 似 地 ， 对 于 个 体 早 期 应 激 ， 随 着 个 体 生 命 周期 内 应 激 体验 的 不 同 ， 应 激 对 决策 的 影响 也 不 同 (Lupien etal., 


a 


2009)。 例如, 经 历 早期 生活 压力 的 青少年 容易 表现 出 与 决策 有 关 的 情绪 或 动机 神经 


B (Pilon, AMAR. Hl 


额 叶 和 纹 状 体 ) 的 改变 (Tottenham & Galvan, 2016)。 那 么 ， 应 激 对 双重 学 习 系统 的 影响 是 否 也 随 着 应 激 源 时 


间 因 素 的 不 同 而 有 有 具体 的 变化 ， 有 待 进一步 的 考察 。 


最 后 ， 未 来 需要 采 


日 多 种 手段 进行 研究 。Dias-Ferreira 和 同事 (2009) 在 小 鼠 身 上 考察 了 应 激 对 目标 导向 


fenni 


行为 的 影响 ， 他 们 发 现 ， 持 续 21 天 的 应 激 (包括 社会 威胁 、 强 制 游泳 和 人 禁闭) 之后， 实验 组 小 鼠 在 贬值 阶段 无 


法 修正 自己 的 习惯 化 按压 杠杆 的 反应 , 并 且 实验 还 发 现 该 组 小 鼠 腹 内 侧 前 额 叶 (ventromedial prefrontal cortex, 


vmPFC 和 背 内 侧 纹 状 体 均 出 现 蓉 缩 ， 同 时 背 侧 纹 状 体 异 常 增 大 。 该 研究 为 应 激 导 致 行为 改变 的 脑 机 制 提供 


co 


了 直接 证 据 。 然 而 ， 由 于 科学 研究 的 伦理 问题 ， 过 去 没有 、 将 来 也 不 会 在 人 类 被 试 身上 展 


SY 


F 类 似 人 为 致使 


脑 损 伤 的 实验 。 因 此 研究 者 采用 了 一 种 非 侵 入 性 的 无 创 的 研究 方法 ， 如 经 颅 直流 电 刺 激 (transcranial direct 


current stimulation, tDCS)， 研 究 发 现 ， 刺 激 背 侧 前 额 叶 可 以 有 效 避 免 应 激 导 致 的 工作 记忆 的 损伤 ， 揭 示 出 背 


侧 前 额 叶 在 应 激 和 工作 记忆 之 间 的 关系 中 发 挥 着 关键 作用 (Bogdanov & Schwabe, 2016)。 受 该 研究 启发 ， 后 


续 研 究 可 以 采用 类 似 的 无 创 实验 ， 采 用 脑 功能 成 像 技 术 ， 结 合 脑 损 伤 病人 的 研究 ， 进 一 步 确定 和 区 分 应 激 


条 件 下 双重 学 习 系 统 变 化 的 大 脑 结 构 和 功能 。 还 可 以 展开 更 多 的 药物 操纵 研究 ， 厘 清 应 激 的 神经 内 分 泌 机 


制 。 璧 如 ， 通 过 前 文 所 述 ，MR 受 体 的 作用 已 经 很 明晰 ， 然 而 GR 受 体 却 很 少 得 到 探讨 。 


u 


的 研究 虽然 首 


次 表明 了 GR 受 体 在 慢性 应 激 对 工具 性 行为 的 作用 (Gourley et al., 2012)， 但 是 它 在 急性 应 激 影响 双 系统 平衡 


的 作用 方面 却 一 无 所 知 。 因 此 ， 未 来 研究 可 以 尝试 填补 这 一 空缺 。 
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Dual-learning systems under stress 
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Abstract: There is mounting evidence in psychology, neuroscience and behavioral economics to support the 
notion that human behavior is governed by dual-learning systems, namely, reflective, “cognitive” or reflexive, 
“habitual” system. The former one is performed automatically, responds quickly and does not consume 
cognitive resources. The latter one responds slowly and consumes more cognitive resources, but it is also more 
flexible and sensitive to the changes in the external environment. Both of these learning systems exist in parallel 
and compete with each other to jointly influence individual's mind and behavior. A widely concerned question 
in recent years is which system exerts dominant control over specific behavior and what factors determine 
whether reflective or reflexive system governs behavior. Over the past decades, researchers used navigation 
learning task, probabilistic classification learning or instrumental learning task and associated computational 
models to explore the changes of multiple learning systems under acute and chronic stress 
at both behavioral and neural levels. By reviewing these studies, we summarize the psychophysiological 
mechanism underlying the stress-induced bias toward habitual behavior, and reinterpret the causal relationship 
between this shift and drug addiction. Existing research shows that noradrenaline and glucocorticoids act 
through mineralocorticoid receptors and exert interactive impact on brain regions that subserve dual-learning 
systems, which is orchestrated by the amygdala. Future studies need to focus on the modulatory role of genetic 
differences in the effects of stress on learning, and use a variety of technical methods to elucidate its 


neuroendocrine basis. 
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